Ông có nguyên quán tại làng Đông Thái (nay là xã Tùng Ảnh), huyện La Sơn (nay là huyện Đức Thọ), tỉnh Hà Tĩnh trong một thế gia. Ông là thứ nam của quan Khâm sai Kinh lược Bắc Kỳ Hoàng Cao Khải. Các anh em con cháu của ông có nhiều người làm quan.

Anh trai là Hoàng Mạnh Trí, làm Tổng đốc Nam Định, em trai là Cử nhân Sen Hồ Hoàng Gia Huân, Hoàng Gia Luận chủ đồn điền ở Xuân mai tỉnh Hà đông.

Vợ cả Hoàng Trọng Phu ở quê tên là Phú là con ông Phan Đình Vận, cháu gọi Phan Đình Phùng bằng bác. Vợ thứ của ông là Đỗ Thị Nhàn con gái Tổng đốc Đỗ Hữu Phương giàu nhất nhì xứ Nam Kỳ.[1]

Con trai ông là Hoàng Gia Mô, làm Tri huyện Vĩnh Bảo, Hải Phòng những năm 1930. Một trong các con của ông, có 5 người, với bà vợ hai, là bà Hoàng Thị Lý, có chồng là Tiến sĩ Luật Hồ Đắc Điềm.